Recherche linéaire (optimisation)

En optimisation mathématique, la recherche linéaire est l'une des deux approches classiques permettant de forcer la convergence des algorithmes de calcul d'un minimum $x_{*}$ d'une fonction $f:\mathbb {R} ^{n}\to \mathbb {R}$, lorsque le premier itéré est éloigné d'un tel minimum. L'autre méthode est celle des régions de confiance.

Exemple

Voici un exemple d'algorithme qui utilise la recherche linéaire à l'étape 3:

i) Mettre le compteur d'itération à 0, $k=0$, et fixer une valeur initiale, $\mathbf {x} _{0}$ comme minimum.

ii) Calculer une direction de descente $\mathbf {p} _{k}$.

iii) Choisir $\alpha _{k}$, comme la valeur $\alpha \in \mathbb {R}$, telle que $\phi (\alpha )=f(\mathbf {x} _{k}+\alpha \mathbf {p} _{k})$ atteigne son minimum.

iv) Mettre à jour $\mathbf {x} _{k+1}=\mathbf {x} _{k}+\alpha _{k}\mathbf {p} _{k}$, $k=k+1$.

Si $\|\nabla f(\mathbf {x} _{k})\|\leq$tolerance, STOP.

Sinon, retourner au ii).

Dans l'étape iii) on peut minimiser exactement $\phi$, en résolvant $\phi '(\alpha _{k})=0$, ou bien minimiser faiblement, en n'imposant qu'une décroissance suffisante de $\phi$. Cette dernière approche peut être réalisée en utilisant les critères de Wolfe.

Comme les autres méthodes d'optimisation, la recherche linéaire peut être couplée avec le recuit simulé afin d'éviter les minimums locaux.

Annexes

Article connexe

• Algorithme à directions de descente

Références

• N. I. M. Gould and S. Leyffer, An introduction to algorithms for nonlinear optimization. In J. F. Blowey, A. W. Craig, and T. Shardlow, Frontiers in Numerical Analysis, pages 109-197. Springer Verlag, Berlin, 2003.